Nghiêm Phú Phi sinh ngày 9 tháng 7 năm 1930 tại Sài Gòn, trong một gia đình gốc Hà Đông.

Thuở nhỏ, Nghiêm Phú Phi được người quen gia đình là nhạc sĩ Nguyễn Văn An hướng dẫn nhạc lý và giới thiệu cho học piano với nhạc sĩ Võ Đức Thu. Nhờ vậy, năm 15 tuổi học trung học ông đã có thể đi đàn piano vào buổi tối để kiếm thêm tiền.[1]

Năm 19 tuổi, ông sang Pháp thi vào học tại Viện Âm nhạc Quốc gia Paris. Trong thời gian học này, ông được mời soạn nhạc cho một bộ phim Việt Nam: Một Trang Nhật Ký. Cuối năm 1954 thì đỗ tốt nghiệp hạng ưu và về Sài Gòn mở lớp dạy piano, đàn cho các phòng trà/club, soạn nhạc cho các đài phát thanh VTVN và truyền hình THVN. Ngoài ra ông soạn nhạc cho nhiều bộ phim màu lúc đó.

Năm 1965, ông được cử làm Phó Giám đốc Trường Quốc gia Âm nhạc và Kịch nghệ. Năm 1970 thì lên làm Giám đốc thay thế cho nhạc sĩ Đỗ Thế Phiệt vừa mất.[1]

Sau sự kiện 30/4/1975, ông và gia đình bị kẹt lại ở Việt Nam. Tuy vậy ông vẫn tiếp tục mở lớp dạy đàn tại nhà và nhà thờ Huyện Sĩ. Đến năm 1985 thì ông sang định cư tại Hoa Kỳ. Tại đây, ông tham gia tích cực công tác cứu trợ thuyền nhân và tiếp tục mở trường nhạc với hơn một trăm học trò đều là đồng hương cho đến khi qua đời vào ngày 16 tháng 1 năm 2008.[2]